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Verfahren zum Trainieren eines neuronalen Netzes 

Beschreibuna 

1 . FACHGEBIET PER ERF1NDUNG 

Die Erfindung betrifft ein Verfahren zum Trainieren eines neuronalen Netzes 
zur Ermittelung von Risikofunktionen fur Patienten im Anschiufc an eine Erst- 
erkrankung mit einer vorbestimmten Krankheit auf Grundlage vorgegebener 
Trainings-Datensatze, welche objektivierbare und zu einem erheblichen Teil 
me&technisch erfafcte Daten zum Krankheitsbild der Patienten beinhalten, 
wobei das neuronale Netz eine Eingangsschicht mit einer Mehrzahl von 
Eingangs-Neuronen und wenigstens eine Zwischenschicht mit einer Mehr- 
zahl von Zwischen-Neuronen umfaSt, sowie ferner eine Ausgangsschicht 
mit einer Mehrzahl von Ausgangs-Neuronen und eine Vielzahl von Synap- 
sen, die jeweils zwei Neuronen unterschiedlicher Schichten miteinander 
verbinden. 

2. FACHLICHER HINTERGRUIMD - STAND DER TECHNIK 
2.1. Allqemeines 

Auf zahlreichen Gebieten sind neuronale Netze zur Auswertung grofter 
Datenmengen zu den bisiang ublichen Auswerteverfahren erganzend hinzu- 
getreten oder haben diese- ersetzt. Es hat sich namlich gezeigt, daS 
neuronale Netze besser als die herkommlichen Verfahren in der Lage sind, 
in den Datenmengen verborgene, nicht ohne weiteres erkennbare Abhangig- 
keiten zwischen den einzelnen Eingangsdaten aufzuspuren und aufzuzeigen. 
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Daher liefern neuronale Netze, welche anhand einer bekannten Datenmenge 
trainiert worden sind, fur neue Eingangsdaten des gleichen Datentyps 
zuverlassigere Aussagen als die bisherigen Auswerteverfahren. 

Im Bereich medizinischer Anwendungen ist es beispielsweise bekannt, 
neuronale Netze zur Bestimmung einer Uberlebensfunktion fiir an einer 
bestimmten Krankheit, etwa Krebs, leidende Patienten einzusetzen. Diese 
Uberlebensfunktion gibt dabei in Abhangigkeit der seit der Ersterkrankung 
vergangenen Zeit die Wahrscheinlichkeit an, dalS bei einem betrachteten 
Patienten ein vorbestimmtes Ereignis eintritt. Dieses vorbestimmte Ereignis 
muS dabei nicht notwendigerweise der Tod des Patienten sein, wie dies die 
Bezeichnung "Uberlebensfunktion" vermuten laBt, sondern kann ein belie- 
biges Ereignis sein, beispielsweise eine erneute Erkrankung an Krebs. 

Die Datensatze umfassen eine ganze Reihe von objektivierbaren Angaben, 
d.h. Daten, auf deren Wert eine das neuronale Netz gegebenenfalls 
bedienende Person keinen EinflulS hat und deren Wert gewiinschtenfalls 
automatisch erfafct werden kann. Im Falle von Brustkrebs sind dies Angaben 
iiber die Person des Patienten, beispielsweise Alter, Geschlecht und 
dergleichen, Angaben uber das Krankheitsbild, beispielsweise Anzahl der 
von Krebs befallenen Lymph-Knoten, tumor-bioiogische Faktoren, wie upA 
(Urokinase-Plasminogen-Aktivator), sein Inhibitor PAI-1 und dergleichen 
Faktoren, sowie Angaben iiber die Behandlungsmethode, beispielsweise Art, 
Dauer und Intensitat einer Chemo- oder Strahlen-Therapie. Unnotig zu 
erwahnen, daS eine ganze Reihe der vorstehend erwahnten Angaben, 
insbesondere der Angaben zum Krankheitsbild, nur unter Einsatz geeigneter 
Mefcapparaturen ermittelt werden konnen. Dariiber hinaus konnen auch die 
personen-bezogenen Daten automatisiert von geeigneten Datentragern 
abgelesen werden, beispielsweise maschinenlesbaren Personalausweisen 
oder dergleichen. Selbstverstandlich konnen die objektivierbaren Daten 
dann, wenn sie nicht alle gleichzeitig verfiigbar sind, was insbesondere bei 
den Labor-MeSwerten haufig der Fall sein diirfte, auf einem geeigneten 
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Speichermedium in einer Datenbank zwischengespeichert werden, bevor sie 
dem neuronaien Netz als Eingangsdaten zugefiihrt werden. 



2.2. Das neuronale Netz als Siqnalfilter 

GemaS vorstehendem kann man ein neuronales Netz also als eine Art 
"Signalfilter" auffassen, das aus einem verrauschten und daher an sich noch 
nicht aussagekraftigen Eingangssignal ein aussagekraftiges Ausgangssignal 
herausfiltert. Ob bzw. wie gut das Filter seine Funktion erfullen kann, hangt 
wie bei jedem Filter davon ab, ob es geiingt, die Intensitat des Eigen- 
rauschens des Filters so niedrig zu halten, daS das herauszufilternde Signal 
nicht in diesem Eigenrauschen untergeht. 

Die Intensitat des "Eigenrauschens" eines neuronaien Netzes ist umso 
niedriger, je mehr Datensatze einerseits zum Trainieren des neuronaien 
Netzes zur Verfugung stehen und je einfacher andererseits die Struktur des 
neuronaien Netzes ist. Zudem steigt die Generalisierungsfahigkeit des 
Netzes mit zunehmender Vereinfachung der Struktur des neuronaien Netzes 
an. Bei einer im Stand der Technik ublichen Vorgehensweise befafct sich 
daher ein Teil des Trainings neuronaler Netze mit dem Auffinden und 
Eliminieren von Strukturteilen, die fur den Erhalt eines aussagekraftigen 
Ausgangssignals entbehrlich sind. Bei diesem "Ausdunnen" (in der Fach- 
sprache auch als "pruning" bezeichnet) ist allerdings als weitere 
Randbedingung zu beachten, dafc die Struktur des neuronaien Netzes nicht 
beliebig "ausgedunnt" werden darf, da mit abnehmender Komplexitat des 
neuronaien Netzes auch dessen Fahigkeit, komplexe Zusammenhange nach- 
zubilden, und somit dessen Aussagekraft abnimmt. 



WO 01/15078 




PCT/EP00/08280 



. 4 . 

2.3. Probleme beim medizinischen Einsatz 

Nun steht man in der Praxis, insbesondere bei dem eingangs angesproche- 
nen medizinischen Einsatz neuronaler Netze, haufig vor dem Problem, daB 
lediglich sehr kleine Datenmengen von typischerweise wenigen hundert 
Datensatzen fur das Training des neuronalen Netzes zur Verfugung stehen. 
Erschwerend kommt hinzu, daB fur das Training nicht nur eine Trainings- 
Datenmenge, sondern ferner auch eine Validierungs-Datenmenge und eine 
Generalisierungs-Datenmenge vorgesehen werden mussen. Auf die Bedeu- 
tung dieser beiden Datenmengen wird weiter unten unter den Punkten 5.5. 
bzw. 5.7. noch naher eingegangen werden. 

Bei derart geringen Datenmengen fuhrte der Einsatz bekannter Pruning- 
Methoden aber stets zu einer so starken Vereinfachung der Struktur des 
neuronalen Netzes, daB die Aussagekraft des neuronalen Netzes auf ein 
nicht zu tolerierendes MaS absank. Urn nach AbschluS der Trainungsphase 
aber dennoch neuronale Netze erhalten zu konnen, welche aussagekraftige 
Ausgangssignale liefern, wurden daher im Stand der Technik bei Vorliegen 
lediglich kleiner Trainingsdatenmengen neuronale Netze mit einer starren, 
d.h. fest vorgegebenen und unveranderlichen Struktur eingesetzt. Dabei 
wurde der Komplexitatsgrad bzw. die Einfachheit dieser starren Struktur auf 
Grundlage von Erfahrungswissen derart gewahlt, daB das neuronale Netz 
einerseits eine hohe Aussagekraft und andererseits ein gerade noch 
tolerierbares Eigenrauschen aufwies. Bislang wurde davon ausgegangen, 
daB die Vorgabe einer unveranderlichen Struktur unumganglich sei. 

Ein weiteres Problem der medizinischen Anwendungen neuronaler Netze ist 
darin zu sehen, daB zum Training nur "zensierte" Daten vorliegen. Mit dem 
Begriff "Zensur" wird dabei der Umstand umschrieben, daB fur Patienten, 
die zum Zeitpunkt der Datenerf assung glucklicherweise noch keinen Ruckfal! 
erlitten haben, die zukiinftige Entwicklung nicht vorauszusehen ist, und 
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Aussagen uber die Uberlebensfunktion daher nur bis zum Zeitpunkt der 
Erhebung der Daten moglich sind. 

Es braucht nicht betont zu werden, da& gerade bei rnedizinischen 
Anwendungen auf ein wirklich aussagekraftiges Ergebnisses unter gar 
keinen Umstanden verzichtet werden darf. Es ist namlich in keinem Fall 
akzeptabel, wenn auch nur einem Patient eine Behandlung nur deshalb 
vorenthalten wurde, weil das neuronale Netz diese nicht fiir notwendig 
erachtet hat. Die Folgen fur den Patienten konnten unabsehbar sein. 

Hinsichtlich der Einzelheiten des vorstehend geschilderten Standes der 
Technik sei auf die unter Punkt 6. "Literaturverzeichnis" aufgefuhrten 
Aufsatze verwiesen. 



3. AUFGABE DER ERF1NDUNG 



Demgegenuber ist es Aufgabe der Erfindung, ein automatisches Verfahren 
zum Trainieren eines neuronalen Netzes zur Ermittelung von Risiko- 
funktionen f£ir Patienten im AnschluS an eine Ersterkrankung mit einer 
vorbestimmten Krankheit bereitzustellen, welches es trotz einer geringen 
Anzahl von zur Verfugung stehenden Trainingsdatensatzen erlaubt, ein 
neuronales Netz variabler Struktur einzusetzen und dessen Struktur in 
wenigstens einem Strukturvereinfachungs-Schritt zu optimieren. 



4. LOSUNG DER AUFGABE 

Diese Aufgabe wird erfindungsgemaS gelost durch ein Verfahren zum 
Trainieren eines neuronalen Netzes zur Ermittelung von Risikof unktionen fiir 
Patienten im Anschlufc an eine Ersterkrankung mit einer vorbestimmten 
Krankheit auf Grundlage vorgegebener Trainings-Datensatze, welche 
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objektivierbare und mefctechnisch erfaSte Daten zum Krankheitsbild der 
Patienten beinhalten, wobei das neuronale Netz umfafct: 

eine Eingangsschicht mit einer Mehrzahl von Eingangs-Neuronen, 
wenigstens eine Zwischenschicht mit einer Mehrzahl von Zwischen- 
Neuronen, 

eine Ausgangsschicht mit einer Mehrzahl von Ausgangs-Neuronen, 
und 

eine Vielzahl von Synapsen, die jeweils zwei Neuronen 
unterschiedlicher Schichten miteinander verbinden, 
wobei das Training des neuronalen Netzes eine Strukturvereinfachungs- 
Prozedur umfa&t, d.h. das Auffinden und Eliminieren von Synapsen, welche 
auf den Verlauf der Risikofunktion keinen wesentlichen Einfluft ausuben, 
indem man entweder 

a1) zwei mit ein und demselben Empfangs-Neuron verbundene Sende- 
Neuronen auswahlt, 

a2) unterstellt, date die von diesen Sende-Neuronen zum Empfangs- 
Neuron ausgehenden Signale qualitativ im wesentlichen das gleiche 
Verhalten zeigen, also miteinander korreliert sind, 

a3) die Synapse eines der beiden Sende-Neuronen zu dem Empfangs- 
Neuron unterbricht und dafiir das Gewicht der Synapse des jeweils 
anderen Sende-Neurons zu dem Empfangs-Neuron entsprechend 
anpa&t, 

a4) die Reaktion des gemafc Schritt a3) veranderten neuronalen Netzes 
mit der Reaktion des unveranderten neuronalen Netzes vergleicht, 
und 

a5) dann, wenn die Abweichung der Reaktion ein vorbestimmtes MaB 
nicht iiberschreitet, entscheidet, die in Schritt a3) vorgenommene 
Anderung beizubehalten, 

oder indem man 

b1) eine Synapse auswahlt, 

b2) unterstellt, daS diese Synapse auf den Verlauf der Risikofunktion 
keinen wesentlichen EinfluS ausiibt, 
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b3) diese Synapse unterbricht, 

b4) die Reaktion des gemafc Schritt b3) veranderten neuronalen Netzes 
mit der Reaktion des unveranderten neuronalen Netzes vergleicht, 
und 

b5) dann, wenn die Abweichung der Reaktion ein vorbestimmtes MaB 
nicht uberschreitet, entscheidet, die in Schritt b3) vorgenommene 
Anderung beizubehalten. 

Ein in der vorstehend beschriebenen Art und Weise trainiertes neuronales 
Netz unterstutzt den behandelnden Arzt beispielsweise bei der Entschei- 
dung, welche Nachbehandlung er bei einem bestimmten frisch operierten 
Patienten einsetzen soli. Der Arzt kann hierzu dern neuronalen Netz die 
Patientendaten und die im Labor me&technisch erfafcten Daten tiber das 
Krankheitsbild der Erstbehandlung eingeben und erhalt von dem neuronalen 
Netz eine Aussage daruber, bei welcher Nachbehandlungsart sich die fur 
den gerade betrachteten Patienten gunstigste Uberlebensfunktion ergibt. 
Selbstverstandlich kann auch die Aggressivitat der einzelnen Nachbehand- 
lungsarten berucksichtigt werden, so daS bei gleich oder annahernd gleich 
gunstiger Uberlebensfunktion die fur den Patienten schonendste Art der 
Nachbehandlung ausgewahlt werden kann. 



5. AUSFUHRUNGSBE1SPIEL 



Die Erfindung wird im folgenden an einem Ausfuhrungsbeispiel naher 
erlautert werden. 
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5.1. Aufbau neuronaler Netze 

Fig. 1 zeigt den Aufbau eines neuronalen Netzes, das nach Art eines 
Vielschicht-Perzeptrons aufgebaut ist. In diesem Fall umfafct das neuronale 
Netz: 

eine Eingangsschicht mit einer Mehrzahf von Eingangs-Neuronen N t 
(i fiir "input neuron"), 

wenigstens eine Zwischenschicht mit einer Mehrzahl von Zwischen- 
Neuronen N h (h fur "hidden neuron"), 

eine Ausgangsschicht mit einer Mehrzahl von Ausgangs-Neuronen N Q 
(o fur "output neuron"), und 

eine Vielzahl von Synapsen, die jeweils zwei Neuronen unterschied- 
licher Schichten miteinander verbinden. 

In der vereinfachten Ausfuhrungsform gemaS Fig. 1, die aus Anschaulich- 
keitsgrunden der nachfoigenden Diskussion zugrundegelegt werden soli, ist 
lediglich eine einzige Zwischenschicht vorgesehen, und sind die Neuronen 
(bzw. Knoten, wie sie haufig auch genannt werden) der Ausgangsschicht 
sowohl mit jedem Neuron der Eingangsschicht als auch mit jedem Neuron 
der Zwischenschicht uber Synapsen (auch als "Konnektoren" bezeichnet) 
verbunden. 

Die Anzahl der Eingangs-Neuronen wird ublicherweise in Abhangigkeit der 
Anzahl der zur Verfugung stehenden objektivierbaren Angaben gewahlt. 
Sollte hierdurch jedoch die zur Ermittelung der Reaktion des neuronalen 
Netzes bendtigte Zeit in einem nicht zu akzeptierenden MaSe ansteigen, so 
kann beispielsweise mit Hilfe von neuronalen Netzen stark vereinfachter 
Struktur vorab eine Abschatzung der Bedeutung der einzelnen objektivier- 
baren Angaben auf die Aussagekraft des Gesamtsystems getroffen werden. 
Es sei jedoch betont, date auch diese vorausgehende Abschatzung auto- 
matisch und ohne Eingriff der jeweiligen Bedienungsperson erfolgt. Ferner 
wird die Anzahl der Ausgangs-Neuronen so groS gewahlt, daB im Sinne 
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einer Reihenentwicklung der Oberlebensfunktion eine ausreichende Anzahl 
von Reihenentwicklungs-Termen zur Verfugung steht, urn eine aussage- 
kraftige Annaherung an die tatsachliche Oberlebensfunktion erzielen zu 
konnen. Die Anzahl der Zwischen-Neuronen schlieSlich wird einerseits so 
grofc gewahlt, da£ die Ergebnisse des trainierten neuronalen Netzes 
aussagekraftig sind, und andererseits so klein, date die zur Ermittelung des 
Ergebnisses benotigte Zeit akzeptabel ist. 

5.2. Funktion neuronaler Netze 

5.2. 1 . Allqemeines 

Jedes Neuron empfangt ein Stimulationssignal S, verarbeitet dieses gemafc 
einer vorbestimmten Aktivierungsfunktion F(S) und gibt ein entsprechendes 
Antwortsignal A = F(S) aus, das alien unter diesem Neuron angeordneten 
Neuronen zugefiihrt wird. Das auf das betrachtete Neuron N y einwirkende 
Stimulationssignal S y wird ublicherweise durch Aufsummieren der Antwort- 
signale A x der uber diesem Neuron N y angeordneten Neuronen N x gebildet, 
wobei die Beitrage der einzelnen Neuronen N x jeweils mit einem Gewich- 
tungsfaktor w xy in die Summe eingehen, der die Starke der die beiden 
Neuronen verbindenden Synapse angibt. 

Stimulationssignal: S y = ]C X w xy -A x 

Antwortsignal: A y = F(S y ) 

5.2.2, Einqanasschicht 

Die Stimulationssignale Sj der Eingangsneuronen N; werden von den einen 
bestimmten Patienten j betreffenden Eingabedaten gebildet. 
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Stimulationssignal: S ; = x (j 

Urn die Gewichte der Synapsen eines neuronalen Netzes in geeigneter 
Weise interpretieren zu konnen, ist es bevorzugt, mit Variablen zu arbeiten, 
deren Werte in der Gro&enordnung von 1 liegen. Um dies trotz der 
ublicherweise recht unterschiedlichen Verteilungen der Eingabedaten 
erreichen zu konnen, ist es tiblich, die Eingabedaten einer geeigneten 
Transformation zu unterziehen. Diese Transformation wird von der 
Aktivierungsfunktion F f der Eingangsneuronen vorgenommen: 

Antwortsignal: A s = tanh[(S; - S, mitteI )/S i<Q ] 

Fur die Eingabedaten x, 4 wird also zum einen der Mittelwert S i mittel der der 
Trainingsdatenmenge angehdrenden Patienten j gebildet. Und zum anderen 
wird ein Skalierungsfaktor S iQ gebildet. Liegt der Wert einer Eingabe- 
variablen x u oberhalb des Mittelwerts S j>mittel , so erfolgt die Skalierung gemafc 
dem 75%-Quartil. Liegt er hingegen unter dem Mittelwert, so erfolgt die 
Skalierung gemafc dem 25%-Quartil. Durch Einsatz der hyperbolischen 
Tangens-Funktion als Aktivierungsfunktion F, schlieSlich erhalt man in 
einfacher Weise normierte Antwortsignale, deren Werte im Bereich von -1 
bis + 1 liegen. 

Festzuhalten ist, daS man fur Eingangsdaten, die bereits die gewiinschte 
Verteilung, kategorische oder binare Werte aufweisen, die vorstehende 
Transformation umgehen kann. 

5.2.3. Zwischenschicht 



Das Stimulationssignal S h fur die Neuronen N h der Zwischenschicht wird von 
der gewichteten Summe der Antwortsignale A-, aller Neuronen N f der 
Eingangsschicht gebildet: 
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Stimulationssignal: 

Dieses Stimulationssignal S h wird von den Neuronen N h gemafc einer vorge- 
gebenen Aktivierungsfunktion F h , die beispielsweise wiederum die hyper- 
bolische Tangens-Funktion sein kann, in ein Antwortsignal A h umgesetzt: 

Antwortsignal: A h = F h (S h - b h ) 

Die Parameter b h werden auf dem Fachgebiet der neuronalen Netze a!s Bias 
oder "Vorspannung" des betreffenden Neurons bezeichnet. Wie die Werte 
der Synapsen-Gewichte w xy werden auch die Werte dieser Vorspannungs- 
parameter b h im Zuge des Trainings des neuronalen Netzes ermittelt. 

5.2.4, Ausaanqsschicht 

Die Ermittelung des Stimulationssignals S 0 und des Antwortsignals A 0 fur ein 
Neuron N G der Ausgangsschicht erfolgt in analoger Weise: 

Stimulationssignal: S G = J2. w io -(A, - q) + J2 h w ho -A h 

Antwortsignal: A 0 = F 0 {S 0 - b 0 ) 

Die Parameter b Q geben wiederum die "Vorspannung" der Neuronen N D der 
Ausgangsschicht an, wahrend die Parameter c } der Anpassung der Stimula- 
tionsbeitrage der Neuronen N t der Eingangsschicht und N h der Zwischen- 
schicht dienen. Die Werte sowohl der Parameter b G als auch der Parameter 
q werden in der Trainingsphase des neuronalen Netzes ermittelt. Hinsicht- 
lich der Vorspannungen b Q kann es dabei vorteilhaft sein, als Randbedingung 
zu fordern, daS die uber die gesamte Trainingsdatenmenge gemittelte 
Antwort aller Ausgangsneuronen N 0 Null ist. Als Aktivierungsfunktion F G 
kann fur die meisten Anwendungen, insbesondere den hier betrachteten Fall 
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s h = J2 t w s 



ih 
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der Ermittelung der Uberlebensfunktion fur Krebspatienten, die Identitats- 
funktion F 0 (x) = x verwendet werden. 

Die Antwortsignaie A 0 der Ausgangs-Neuronen N 0 geben den jeweiligen 
Koeffizienten des zugehdrigen Terms der Reihenentwicklung der gesuchten 
Uberlebensfunktion an. 

5.3. Die Uberlebensfunktion 

Wie vorstehend bereits angesprochen wurde, umfassen die Eingangsdaten 
Angaben uber die Person des Patienten, sowie Angaben uber das Krank- 
heitsbild. Alle diese Daten werden zu einem Zeitpunkt t = 0 erfaSt, im Falle 
von Krebspatienten beispielsweise dem Zeitpunkt der Erstoperation. Im 
Anschlufc an die Erstoperation werden die Patienten dann einer bestimmten 
Nachbehandlung unterzogen, die beispielsweise Chemo- oder/und Strahlen- 
Therapien beinhalten kann. 

Die Uberlebensfunktion S(t) gibt nun die Wahrscheinlichkeit an, da& bei 
einem betrachteten Patienten zum Zeitpunkt t ein bestimrntes Ereignis noch 
nicht eingetreten ist. Es kann sich bei diesem bestimmten Ereignis beispiels- 
weise urn eine erneute Krebserkrankung, im schlimmsten Fall aber auch urn 
den Tod des Patienten handeln. In jedem Fall gilt fur die Uberlebensfunktion, 
da6 S{0) = 1 . Daruber hinaus wird ublicherweise S(oo) = 1 angenommen. 

GemaS der ublichen Notation kann man auf Grundlage der Uberlebens- 
funktion S(t) eine Ereignisdichte f{t) und eine Risikofunktion A{t) definieren: 

f(t) = -dS/dt 



A(t) = f(t)/S(t) 
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woraus folgt: 

Ait) = -(d/dt)[ln S(t)] 

Kennt man also den Verlauf der Risikofunktion A[t), so kann man den 
Verlauf der Uberlebensfunktion S(t) durch Integration rekonstruieren. 

Es ist die Aufgabe des neuronalen Netzes, den Verlauf der Risikofunktion 
A(t) nach Art einer Reihenentwicklung zu modellieren: 



Dabei bezeichnen die Parameter A Q gemafc vorstehender Notation die 
Antwortsignale der Neuronen N 0 der Ausgangsschicht des. neuronalen 
Netzes. A 0 ist im Rahmen der vorliegenden Erfindung ein von t unabhangiger 
Parameter, der als Normierungsfaktor eingesetzt wird. Mit B D (t) ist ein Satz 
von Funktionen bezeichnet, die als Basisfunktionen der Reihenentwicklung 
eine gute Annaherung an den tatsachlichen Verlauf der Risikofunktion 
ermoglichen. Als Funktionensatz B 0 (t) konnen beispielsweise die fraktalen 
Polynome oder auch Funktionen wie t p (p nicht notwendigerweise 
ganzzahlig) eingesetzt werden. Im Rahmen der vorliegenden Erfindung 
wurden B 0l (t) = 1; B o2 (t) = constt 1 ' 2 , ... verwendet. 

5.4. Training des neuronalen Netzes - Vorbereitunaen 

5.4.1. Die Qptimierunqsfunktion 

Die Trainingsdatenmenge umfaSt die Datensatze einer Mehrzahl von 
Patienten, fur die nicht nur die Angaben uber die Person und die Angaben 
uber das Krankheitsbild bekannt sind, sondern auch Angaben uber die Art 
der Nachbehandlung und der weitere Krankheitsverlauf . Aus den gesammel- 



A(t) = Vexp[E 0 B 0 (t)-AJ 
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ten Daten uber den weiteren Krankheitsverlauf wird nach den folgenden 
Regeln eine "tatsachliche Uberlebensfunktion" zusammengesetzt: 1st fur 
einen bestimmten Patienten zu einem Zeitpunktt das vorbestimmte Ereignis, 
beispielsweise eine erneute Erkrankung oder der Tod des Patienten bereits 
eingetreten, so wird sein Beitrag 5 zur "tatsachlichen Uberlebensfunktion" 
vor dem Zeitpunkt t zu 6 = 0 und ab dem Zeitpunkt t zu 6 = 1 gesetzt. 
Patienten, bei denen bis zum Zeitpunkt der Erhebung der Trainingsdaten- 
menge das vorbestimmte Ereignis noch nicht eingetreten ist ("zensierte" 
Daten), tragen zu jedem Zeitpunkt zur "tatsachlichen Uberlebensfunktion" 
nur 6 = 0 bei. Wahrend der Trainingsphase werden nun die Gewichte w xy 
der Synapsen und die sonstigen vorstehend unter Punkt 5.2. genannten 
Optimierungsparameter derart eingestellt, da& die vom neuronalen Netz 
gelieferte Uberlebensfunktion mdglichst gut der "tatsachlichen 
Uberlebensfunktion" entspricht. 

Dies kann beispielsweise dadurch erzielt werden, daft man eine fur diesen 
Zweck geeignete Optimierungsfunktion O definiert und ein lokales, im 
giinstigsten Fall sogar das globale Minimum dieser Optimierungsfunktion in 
dem von den Optimierungsparametern aufgespannten Raum sucht. Es ist im 
Stand der Technik bereits bekannt, zur Definition der Optimierungsfunktion 
O von einer sogenannten Likelihood-Funktion L auszugehen: 

O = -In L 

ErfindungsgemaS wird als Darstellung der Likelihood-Funktion 
L = Ilj [fj(t)]' • [Sj(t)] 1 -' 

gewahlt, wobei f,(t) und Sj{t) gemafc der unter Punkt 5.3. eingefuhrten 
Notation die Ereignisdichte und die Uberlebensfunktion fur den Patienten j 
der Trainungsmenge bezeichnen. Diese Likelihood-Funktion hat den Vorteil, 
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daS der Rechenaufwand nur etwa proportional zur Anzahl der in der 
Trainingsdatenmenge erfa&ten Patienten ansteigt. 

Eine weitere Moglichkeit zur Darstellung der Likelihood-Funktion ist: 

L = H ( exp[E 0 B c (t)-A oi ] / E, exp[E 0 B 0 (t)-A 0l ] ) 

wobei das Produkt uber alle Patienten j gebildet wird, bei denen das 
vorbestimmte Ereignis zum Zeitpunkt t bereits auf getreten ist und wobei die 
erste Summe im Nenner des Quotienten uber alle Patienten I gebildet wird, 
bei denen das vorbestimmte Ereignis zum Zeitpunkt t noch nicht auf getreten 
ist. 

Der mit dieser Darstellung verbundene Rechenaufwand steigt allerdings 
elwa proportional zum Quadrat der Anzahl der in der Trainingsdatenmenge 
erfaSten Patienten an. 

5.4.2. Die Initialisierunq 

Zur Initialisierung der Netzoptimierungs-Parameter, beispielsweise der 
Gewichte der die Neuronen verbindenden Synapsen, konnen diesen Para- 
meters wie dies im Stand der Technik an sich bekannt ist, stochastisch 
kleine Werte zugewiesen werden, die gewissen Normierungsregeln gehor- 
chen. Dabei ist es zusatzlich moglich, in die Normierung Erkenntnisse 
einfliefcen zu lassen, die vorab in Testlaufen an neuronalen Netzen stark 
vereinfachter Struktur gewonnen wurden. 
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5,5. Training des neuronalen Netzes - Simolex-Methode 

Die Suche nach einem lokoalen bzw. dem globaien Minimum der 
Optimierungsfunktion wird wie ublich in mehreren Schritten bzw. Zyklen 
durchgefuhrt. ErfindungsgemaB wird jedoch zu dieser Suche erstmals die 
von Nelder und Mead (siehe Punkt 6. "Literaturverzeichnis") vorgeschlagene 
Simplex-Methode bei einem neuronalen Netz eingesetzt. Unter einem 
Simplex wird in einem n-dimensionalen Raum ein (n + 1 )-dimensionales 
Gebilde verstanden, das den aktuellen Stutzpunkt in dem n-dimensionalen 
Raum umgibt, also in einem 2-dimensionalen Raum ein Dreieck, in einem 3- 
dimensionalen Raum eine Dreieckspyramide und so weiter. In welchen 
Richtungen und mit welchen Abstanden vom aktuellen Stutzpunkt die (n + 1 ) 
Eckpunkte angeordnet werden, wird dabei auf Grundlage der Eigenschaften 
der Optimierungsfunktion an den Eckpunkten des vorhergehenden Zyklus 
bestimmt. 

Dieses Verfahren fuhrt zu einer streng monoton abfallenden Folge von 
Stutzpunkten. Es kann fortgesetzt werden, bis entweder (innerhalb 
vorgegebener Genauigkeitsgrenzen) ein lokales oder globales Minimum 
aufgefunden oder ein weiteres Abbruchkriterium erfullt worden ist. Im 
Zusammenhang mit diesem weiteren Abbruchkriterium kommt nun die 
vorstehend bereits angesprochene Validierungs-Datenmenge ins Spiel: 

Der vorstehend angesprochene monotone Abfall der Stiitzpunkte kann zum 
einen von tatsachlich objektivierbaren Eigenschaften der fur die Trainings- 
Datenmenge bestimmten Optimerungsfunktion herruhren. Zum anderen ist 
es jedoch auch mdglich, daB der abfallende Verlauf im Bereich einer von 
stochastischen Fluktuationen hervorgerufenen Senke der Optimierungs- 
funktion erfolgt. Der letztgenannte Effekt tauscht aber einen Lernerfolg nur 
vor. Daher werden erfindungsgemaS auch die Eigenschaften der anhand der 
Validierungs-Datenmenge bestimmten Optimierungsfunktion an den gleichen 
Stutzpunkten untersucht. Stellt man dabei fest, date auch die Stiitzpunkte 
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der "Validierungsdaten-Optimierungsfunktion" monoton -abfallen, so kann 
man davon ausgehen, daft man sich noch in einer "echten" Lernphase des 
neuronalen Netzes befindet. Stagniert die Folge der Stutzpunkte der 
"Validierungsdaten-Optimierungsfunktion" hingegen oder steigt sie sogar 
wieder an, so mute davon ausgegangen werden, date man sich bezuglich der 
"Trainingsdaten-Optimierungsfunktion" in einer von stochastischen Fluk- 
tuationen hervorgerufenen Senke befindet, die einen Lernfortschritt nur 
vorgaukelt. Die zyklische Durchfuhrung der Simplex-Methode kann daher 
unterbrochen werden. 

Der Vorteil der Simplex-Methode ist hauptsachlich darin zu sehen, da& sie 
allein anhand der Optimierungsfunktion durchgefuhrt werden kann und 
zudem die Schrittweite und Schrittrichtung automatisch festgelegt werden. 



5.6. Training des neuronalen Netzes - Strukturvereinfachunq ("Pruning") 

Nachdem die Suche nach einem lokalen bzw. dem globalen Minimum abge- 
schlossen ist, wird gemaB einem nachsten Trainingsschritt untersucht, ob 
sich die Struktur des neuronalen Netzes aufgrund der bislang gewonnenen 
Erkenntnisse nicht vereinfachen lafct. Bei diesem "Pruning" geht es also um 
die Untersuchung der Frage, welche der Synapsen so wenig EinfluB auf die 
Gesamtfunktion des neuronalen Netzes haben, daS auf sie verzichtet wer- 
den kann. Dies kann im einfachsten Fall beispielsweise dadurch erfolgen, 
da& das ihnen zugewiesene Gewicht ein fur allemal auf Null gesetzt wird. 
Grundsatzlich ist es jedoch ebenso denkbar, das Gewicht der betreffenden 
Synapse auf einen festen Wert "einzufrieren". Vorteilhafterweise sollten 
sich Simplexoptimierungs-Schritte und Strukturvereinfachungs-Schritte in 
einem iterativen Verfahren abwechseln. Selbstverstandlich ware es 
wunschenswert, das neuronale Netz bereits nach dem AusschluS einer 
einzigen Synapse einer erneuten Simplexoptimierung zu unterziehen. Dies 
ist jedoch im Hinbiick auf die fur das Training insgesamt erforderliche Zerit 
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nicht vertretbar. In der Praxis hat es sich ais gunstiger KomprorniS erwiesen, 
wahrend eines Strukturvereinfachungs-Schritts alienfalls 1 0% der zu Beginn 
dieses Schritts noch vorhandenen Synapsen zu entfernen. 

Zur Strukturvereinfachung kommen erfindungsgemalS die beiden nach- 
folgend unter den Punkten 5.6.1 . und 5.6.2. beschriebenen Verfahren zum 
Einsatz. 



5.6. 1 . Likelihood-Methode 

Im Rahmen dieser Methode wird als Referenzwert zunachst der Wert der 
Likelihood-Funktion auf Grundlage der gesamten Struktur des neuronalen 
Netzes in seinem gegenwartigen Trainingszustand berechnet, d.h. unter 
Verwendung der aktuellen Werte der Gewichte alier Synapsen. 
AnschlieSend wird der EinfluS einer vorgegebenen Synapse unterdruckt, 
d.h. der Wert des Gewichts dieser Synapse wird auf Null gesetzt. Sodann 
wird der Wert der Likelihood-Funktion fur die so vereinfachte Netzstruktur 
berechnet, und das Verhaltnis dieses Werts zum Referenzwert gebildet. 

Hat man dieses Likeiihood-Verhaltnis fur alle Synapsen berechnet, so 
beginnt man bei der Durchfuhrung der nachfolgend beschriebenen Schritte 
bei derjenigen Synapse, fCir die der Wert des Likelihood-Verhaltnisses am 
nachsten bei Eins liegt: 

Nimmt man an, daS die Netzstruktur bereits urn (x-1 ) Synapsen vereinfacht 
worden ist und nunmehr die Bedeutung der x. Synapse untersucht wird, so 
vergleicht man die folgenden drei Netzstruktur-Varianten: Erstens Gesamt- 
struktur des neuronalen Netzes in seinem gegenwartigen Trainingszustand 
mit alien vor diesem Strukturvereinfachungs-Schritt noch vorhandenen 
Synapsen, zweitens Netzstruktur unter AusschluB der (x-1) in diesem 
Strukturvereinfachungs-Schritt bereits unterdruckten Synapsen, und drittens 
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Netzstruktur unter AusschluIS nunmehr auch der x. Synapse. Anschliefcend 
vergleicht man die dritte Strukturvariante mittels eines Signif ikanz-Tests zum 
einen mit der ersten Strukturvariante (voile Struktur) und zum anderen mit 
der zweiten Strukturvariante ((x-1) Synapsen unterdruckt). Wenn auch nur 
einer der beiden Tests eine zu starke Abweichung der dritten Struktur- 
variante ergibt, so wird die entsprechende Synapse zumindest fur den 
nachstfolgenden Simplexoptimierungs-Schritt beibehalten. 

Als Signifikanz-Test kann beispielsweise der an sich bekannte CHI- 

QUADRAT-Test (vgl. Punkt 6. "Literaturverzeichnis\ Dokument ) 

eingesetzt werden. Alternativ konnte dieser Signifikanz-Test auch mittels 
der ebenfalls an sich bekannten BOOT-STRAPPING-Methode (vgl. Punkt 6. 

"Literaturverzeichnis", Dokument ) durchgefuhrt werden. Die 

Verwendung des CHI-QUADRAT-Tests ist besonders dann gunstig, wenn 
man die Reaktion des neuronalen Netzes auf Grundlage einer Likelihood- 
Funktion ermittelt. Die BOOT-STRAPPING-Methode eignet sich auch bei 
anderen Arten von Funktionen zur Darstellung der Reaktion des neuronalen 
Netzes. 



5.6.2. Korrelations-Methode 

Der AusschluB bzw. die Unterdruckung von Synapsen nach der Korrela- 
tions-Methode beruht auf der Uberlegung, daS es moglich sein konnte, dafc 
zwei in ein und derselben Schicht angeordnete Neuronen auf ein Neuron 
einer darunter angeordneten Schicht qualitativ den gleichen EinfluB 
ausiiben. In diesem Fall sollte sich die Reaktion des neuronalen Netzes, 
genauer gesagt das Antwortsignal dieses letztgenannten Neurons, im 
wesentlichen nicht andern, wenn man dieses Neuron lediglich von einem der 
beiden daruber angeordneten Neuronen stimulieren laSt und den EinfluS des 
zweiten Neurons durch eine Starkung der verbleibenden Synapse beruck- 
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sichtigt. Auf die von dem zweiten Neuron zu dem betrachteten Neuron 
fiihrende Synapse konnte dann verzichtet werden. 

a. Eingangs-Neuronen und Ausgangs-Neuronen verbindende Synapsen 

GemaG Punkt 5.2.4. hat der Beitrag des Antwortsignals zweier Eingangs- 
Neuronen zum Stimulationssignal eines Ausgangs-Neurons die Form: 

S 0 = w 10 -(A r c,) + w 2o -(A 2 - c 2 ) 

Unterstellt man nun, date die beiden Antwortsignale A, und A 2 gemaS 

A 2 = m-A, + n 

zumindest naherungsweise miteinander korreliert sind und daS das Gewicht 
w 1o groBer ist als das Gewicht w 2o , so gilt fur das Stimulationssignal S 0 : 

S 0 = (w 1o + w^-mJ-A, + (n-w 2o - w l8 -c, - w 2o -c 2 ) 

= w* 1o -(A,- c*,) 

mit 

w *io = w 10 + w 2o -m 

und 

c*, = -I(n-w 2o - w^-c, - w 2o -c 2 )]/(w 10 + w 2o -m) 

Ist w* 1o nicht klein, so kann man das Verhalten des neuronalen Netzes unter 
den folgenden Annahmen testen: 
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1 . Ersetze das Gewicht w 1o durch w' 1o ; 

2. Ersetze den Parameter durch c\; und 

3. Unterdriicke die Synapse vom Eingangs-Neuron N 2 zum Ausgangs- 
Neuron N 0 . 

Verlauft dieser Test, der beispielsweise wieder ais CHI-QUADRAT-Test 
durchgef uhrt werden kann, positiv, so kann auf die Synapse vom Eingangs- 
Neuron N 2 zum Ausgangs-Neuron N 0 verzichtet werden. 

b. Eingangs-Neuronen und Zwischen-Neuronen verbindende Synapsen 

In analoger Weise kann man auch den Beitrag des Antwortsignals zweier 
Eingangs-Neuronen zum Stimulationssignal eines Zwischen-Neurons 
betrachten, wobei es sich, wie nachstehend sofort klar werden wird, 
empfiehlt, das Stimulationssignal des Zwischenneurons einschlieBlich 
dessen "Vorspannung" zu betrachten: 

S h - b h = w lh -A, + w 2h -A 2 

Unterstellt man nun wiederum, daS die beiden Antwortsignale A, und A 2 
gemaS 

A 2 = m-A, + n 

zumindest naherungsweise miteinander korreliert sind und date das Gewicht 
w lh groSer ist als das Gewicht w 2h , so gilt fur das Stimulationssignal S h : 

S h - b h = (w lh + w^-mJ-A, + n-w 2h 



oder 



# 
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S h - b\ = w # 1h -A, 

mit 

w *ih = w lh + w 2h -m 

und 

b* h = b h + n-w 2h 

1st w" lh nicht klein, so kann man das Verhalten des neuronalen Netzes unter 
den folgenden Annahmen testen: 

1. Ersetze das Gewicht w lh durch w* 1h ; 

2. Ersetze die Vorspannung b h durch b* h ; und 

3. Unterdrucke die Synapse vom Eingangs-Neuron N 2 zum Zwischen- 
Neuron N h . 

Verlauft dieser Test, der beispielsweise wieder als CHI-QUADRAT-Test 
durchgeftihrt werden kann, positiv, so kann auf die Synapse vom 
Eingangsneuron N 2 zum Zwischenneuron N h verzichtet werden. 



c. Zwischen-Neuronen und Ausgangs-Neuronen verbindende Synapsen 

In analoger Weise konnen auch von Zwischen-Neuronen zu Ausgangs- 
Neuronen fuhrende Synapsen behandelt werden. Hinsichtlich der 
Vorspannungen b Q ist jedoch moglicherweise die unter Punkt 5.2.4. 
angesprochene weitere Randbedingung zu beachten. 
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5.6.3. Uberorufunq der Topoloaie 

Das vorstehend beschriebene Ausdunnen der Struktur des neuronalen 
Netzes kann zur Folge haben, daS einzelne Neuronen mit keinem einzigen 
anderen Neuron mehr in Verbindung stehen. Dies ist beispielsweise der Fall, 
wenn ein Eingangs-Neuron mit keinem Zwischen-Neuron und auch keinem 
Ausgangs-Neuron in Verbindung steht, oder wenn ein Ausgangs-Neuron mit 
keinem Zwischen-Neuron und auch keinem Eingangs-Neuron in Verbindung 
steht. Es ist daher nur folgerichtig, wenn diese Neuronen, die keinen EinflufS 
auf die Funktion des neuronalen Netzes mehr haben, vollstandig deaktiviert 
werden. 

Einen Spezialfall bilden Zwischen-Neuronen, die zwar noch mit Neuronen 
der Eingangsschicht in Verbindung stehen, nicht jedoch mit Neuronen der 
Ausgangsschicht. Diese Zwischen-Neuronen konnen auf die Funktion des 
neuronalen Netzes keinerlei EinfluS mehr ausuben. Daher konnen auch die 
von der Eingangsschicht zu diesen Zwischen-Neuronen fuhrenden Synapsen 
unterdruckt werden, d.h. die Gewichte dieser Synapsen auf Null gesetzt 
werden. 

Es kann aber auch der umgekehrte Fall auftreten, namlich dafc ein Zwischen- 
Neuron zwar noch mit der Ausgangsschicht verbunden ist, jedoch keinerlei 
Verbindung mehr mit der Eingangsschicht hat. Diese Zwischen-Neuronen 
konnen allenfalls ein von ihrer "Vorspannung" abhangendes Antwortsignal 
an die Ausgangs-Neuronen abgeben. Ein derartiges Signal hat aber keinerlei 
Informationsgehalt, der fur die Funktion des neuronalen Netzes von Bedeu- 
tung ware. Somit konnen auch die restlichen Synapsen dieser Zwischen- 
Neuronen unterdruckt werden. 
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5.7. Generalisieruna 

Nach AbschluB der Trainingsphase ist es erforderlich, die Leistungsfahigkeit 
des trainierten neuronalen Netzes zu uberprufen, urn ein Mafc dafur zu 
bekommen, welche Aussagekraft die von diesem neuronalen Netz geliefer- 
ten Uberlebensfunktionen tatsachlich haben. Hierzu wird die vorstehend 
bereits angesprochene Generalisierungs-Datenmenge eingesetzt, die auf das 
Training des neuronalen Netzes keinerlei Einflufc genommen hat und somit 
eine objektive Aussage ermdglicht. 



5.8. Abschlieftende Bemerkunaen 



Abschlie&end sei erwahnt, daS neben den vorstehend explizit angespro- 
chenen tumor-spezifischen Faktoren upA und PAI-1 , die Aussagen uber die 
Invasion zulassen, auch weitere derartige Faktoren berucksichtigt werden 
konnen. Es sind dies unter anderem Faktoren fur die Proliferation, bei- 
spielsweise die S-Phase und Ki-67, sowie fur weitere das Tumorwachstum 
beeinflussende Prozesse. 
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Anspruche 

Verfahren zum Trainieren eines neuronalen Netzes zur Ermittelung 
von Risikofunktionen fur Patienten im Anschlufc an eine Ersterkran- 
kung mit einer vorbestimmten Krankheit auf Grundlage vorgegebener 
Trainings-Datensatze, welche objektivierbare und me&technisch 
erfafcte Daten zum Krankheitsbild der Patienten beinhalten, 
wobei das neuronale Netz umfaSt: 

eine Eingangsschicht mit einer Mehrzahl von Eingangs- 

Neuronen, 

wenigstens eine Zwischenschicht mit einer Mehrzahl. von 
Zwischen-Neuronen, 

eine Ausgangsschicht mit einer Mehrzahl von Ausgangs- 
Neuronen, und 

eine Vielzahl von Synapsen, die jeweils zwei Neuronen 
unterschiedlicher Schichten miteinander verbinden, 
dadurch gekennzeichnet, 

daB das Training des neuronalen Netzes eine Strukturvereinf achungs- 
Prozedur umfa&t, d.h. das Auffinden und Eliminieren von Synapsen, 
welche auf den Verlauf der Risikofunktion keinen wesentlichen 
Einflufc ausuben, indem 

a1) man zwei mit ein und demselben Empfangs-Neuron 

verbundene Sende-Neuronen auswahlt, 
a2) man unterstellt, dafe die von diesen Sende-Neuronen zum 

Empfangs-Neuron ausgehenden Signale qualitativ im 

wesentlichen das gleiche Verhalten zeigen, also miteinander 

korreliert sind, 

a3) man die Synapse eines der beiden Sende-Neuronen zu dem 
Empfangs-Neuron unterbricht und daftir das Gewicht der 
Synapse des jeweils anderen Sende-Neurons zu dem 
Empfangs-Neuron entsprechend anpaftt, 
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a4) man die Reaktion des gemaS Schritt a3) veranderten neuro- 
nalen Netzes mit der Reaktion des unveranderten neuronalen 
Netzes vergleicht, und 

a5) man dann, wenn die Abweichung der Reaktion eiri vorbe- 
stimmtes MaS nicht uberschreitet, entscheidet, die in Schritt 
a3) vorgenommene Anderung beizubehalten. 



2. Verfahren nach Anspruch 1 , 

dadurch gekennzeichnet, daS die beiden Sende-Neuronen in ein und 
derselben Schicht angeordnet sind. 

3. Verfahren nach Anspruch 1 oder 2, 

dadurch gekennzeichnet, dafc man in Schritt a3) ferner den Wert der 
Vorspannung des Empfangs-Neurons anpaSt. 

4. Verfahren zum Trainieren eines neuronalen Netzes gemaS dem 
Oberbegriff des Anspruchs 1 und gewunschtenf alls dem Kennzeichen 
eines der Anspruche 1 bis 3, 

dadurch gekennzeichnet, 

daS das Training des neuronalen Netzes eine Strukturvereinfachungs- 
Prozedur umfa&t, d.h. das Auffinden und Eliminieren von Synapsen, 
welche auf den Verlauf der Risikofunktion keinen wesentlichen 
EinfluS ausuben, indem 
b1) man eine Synapse auswahlt, 

b2) man unterstellt, daS diese Synapse auf den Verlauf der 

Risikofunktion keinen wesentlichen Einflufc ausubt, 
b3) man diese Synapse unterbricht, 

b4) man die Reaktion des gemaS Schritt b3) veranderten neuro- 
nalen Netzes mit der Reaktion des unveranderten neuronalen 
Netzes vergleicht, und 
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b5) man dann, wenn die Abweichung der Reaktion ein vorbe- 
stimmtes MaS nicht iiberschreitet, entscheidet, die in Schritt 
b3) vorgenommene Anderung beizubehalten. 



5. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, dafc man dann, wenn im Rahmen der 
Strukturvereinfachungs-Prozedur bereits n-1 Synapsen eliminiert 
worden sind und man die Starke des Einflusses einer n-ten Synapse 
uberpruft, die Reaktion des urn n Synapsen verminderten neuronalen 
Netzes nicht nur mit der Reaktion eines urn lediglich n-1 Synapsen 
verminderten Netzes vergleicht, sondern auch mit der Reaktion des 
neuronalen Netz mit seiner zu Beginn dieser Strukturvereinfachungs- 
Prozedur vorliegenden vollen Struktur, und daG man die Eliminierung 
der n-ten Synapse nur dann beibehalt, wenn die Abweichung der 
Reaktion bei beiden Vergleichen ein vorbestimmtes MaS nicht 
iiberschreitet. 



6. Verfahren nach einem der Anspruche 1 bis 5, 

dadurch gekennzeichnet, dafc man zur Darstellung der Reaktion des 
neuronalen Netzes den Wert einer Likelihood-Funktion fur das 
neuronale Netz ermittelt. 



Verfahren nach einem der Anspruche 1 bis 6, 

dadurch gekennzeichnet, date man den Vergleich von Struktur- 
varianten des neuronalen Netzes mittels eines Signifikanz-Tests 
durchfuhrt. 



8. Verfahren nach Anspruch 7, 

dadurch gekennzeichnet, daS man den Vergleich von Struktur- 
varianten des neuronalen Netzes mittels des an sich bekannten CHI- 
QUADRAT-Tests durchfuhrt. 
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9. Verfahren nach Anspruch 7, 

dadurch gekennzeichnet, daS man den Vergleich von Struktur- 
varianten des neuronalen Netzes mittels der an sich bekannten 
BOOT-STRAPPING-Methode durchfuhrt. 

10. Verfahren nach einem der Anspruche 1 bis 8, 

dadurch gekennzeichnet, daS man zum Vergleich zweier Struktur- 
varianten des neuronalen Netzes das Verhaltnis der Werte der 
Likelihood-Funktionen fur diese beiden Strukturvarianten ermittelt. 

1 1 . Verfahren zum Trainieren eines neuronalen Netzes gemafc dem 
Oberbegriffdes Anspruchs 1 undgewunschtenfallsdemKennzeichen 
eines der Anspruche 1 bis 10, 

dadurch gekennzeichnet, 

da& das Training des neuronalen Netzes eine Optimierungs-Prozedur 
umfaBt, in welcher die Starken der einzelnen Synapsen, d.h. die 
Starken der Verbindungen zwischen den Neuronen, optimiert werden, 
und dafczu dieser Optimierung die an sich bekannte Simplex-Methode 
eingesetzt wird. 



